中小商行数据仓库睁开“第三只眼”

        ETL开发小组。在模型组已经分析出业务系统表的取舍后，就可以进行业务系统的接口设计，决定需要抽取哪些系统的哪些表。对于需要抽取的字段的取舍，我们的经验是，除了大对象（比如：图片、CLOB、BLOB等）以及密码字段外，都要抽取过来。因为，在数据仓库建设之初，尽管感觉某些字段不需要抽取，而在建设后的应用过程中又发现当初没有抽取的字段却非常有用，这时，尽管调整接口后，可以把当前数据抽取过来，但往往因业务系统不保留历史数据或者数据恢复代价较高而无法取得该字段的历史数据，从而影响应用分析。因此，能抽取的就抽取过来，之所以不抽取大对象以及密码字段，是因为一般而言这些字段往往不会被分析用到。

        源系统的接口设计的输出主要是接口方案及Stage区建表语句。方案集成小组就可以根据Stage区建表语句来创建Stage区表，用来装载业务系统的数据。Stage区表往往与业务系统表一一对应。在模型组设计好物理模型以及业务数据简要映射说明后，ETL小组就可以利用它们来进行业务系统与数据仓库数据转换详细映射设计，然后进行ETL脚本开发、单元测试。能够进行单元测试的前提条件是，方案集成小组已经准备好测试数据。ETL脚本开发完毕后，要进行联调测试。

        方案集成小组。在项目开始之初，要对企业的软硬件情况进行调研，设计好整体的体系架构，搭建数据仓库环境（开发、测试、生产）后，配合ETL小组创建Stage区表、业务数据的卸载、测试环境数据准备、整体方案集成、部署上线。

        数据质量小组。在模型设计小组确定好需要抽取哪些业务系统的哪些表后，需要对这些表的基本概况做些了解，比如：有无数据？每个字段值的分布如何？系统之间的核对关系是否满足？这些信息对模型设计小组进行映射设计非常有参考价值。在ETL小组的ETL开发阶段，需要配合ETL小组进行业务系统数据到Stage区的核查，由Stage区到数据仓库PDM区的核查，保证数据的转换过程准确无误，需要配合商业智能小组做业务指标核对。数据质量检查工作应该成为项目完成后日常运维的一部分，每天对关键指标进行核查，发现问题需要立即排查和处理。

        以上仅是从项目的进程角度来阐述数据仓库的建设过程，在整个建设过程中，强有力的项目管理也非常重要，数据仓库建设涉及的部门多、系统多、数据多、集成难度大、项目周期长，需要有银行高层的参与或支持，才能更好地推动项目顺利进行。此外，由于中小商业银行的资源有限，每年的信息化投入有一定限制，数据仓库可以分阶段建设，边建设边应用，即大家常常说的“统一规划、统一部署、分步实施”。

数据仓库的使用与管理
        数据仓库的投产不同于传统的信息系统，它是萃取原始数据转换成决策信息，进而衍生企业智慧的一段旅程，系统的投产是旅程的起点而非终点。数据仓库的价值体现在深度运用中，用于持续改善的过程，而非一个短暂的项目。

        基于数据仓库的使用模式可分为固定报表、灵活查询、应用、数据挖掘等。固定报表主要满足常态，定期的业务统计需要，也包含一些常态的交互式报表，具有确定性和普遍性。灵活查询是具有IT和业务两方面的知识和技能，进行任意数据探索和查询，回答各种未预先定义的业务问题，具有随意性和不可重复性。应用包括分析型应用和操作型应用，分析型应用，提供整合的信息，使得用户能够访问、分析与操作；也可以将各类的结果直接部署到操作型应用上，用于指导业务流程和业务操作，一般多用于前端营销系统。数据挖掘是通过模式识别与数学模型技术从数据仓库中的大量明细数据中发现隐藏的模式与趋势，预测未来趋势及行为，做出前摄的、基于知识的决策，目标是从数据库中发现隐含的、有意义的知识。

        在数据仓库的使用与管理中，我们认为：

        一是要不断完善数据仓库自身数据体系的建设。数据仓库的根本在于数据，要尽可能全面的把业务系统的数据加载在数据仓库中去，保持数据仓库数据的广度和深度。建立健全数据仓库与业务系统管理流程，及时分析业务系统数据变更对数据仓库的影响，并进行数据仓库的相关变更，保证数据的完整性和正确性。通过数据仓库的使用，发现相关的数据质量问题，追溯到业务系统，改善业务系统，促进数据质量的改善。

        二是进行业务培训，推广数据仓库应用。数据仓库的价值体现在使用，如何使用数据仓库，就需要我们对业务人员进行不断的宣讲、推广，告诉业务部门数据仓库有什么，培养他们使用数据仓库的习惯。然后对业务部门提出业务问题进行分析，开发相应的应用予以支持。针对不同特点的应用及用户角色使用不同的方式，提供不同种类的应用模式，建立完善的应用架构，建立业务支持流程。

        三是注重培养自身的商业智能团队。随着银行精细化管理的要求，商业智能技术是银行提升核心竞争力的必备工具之一。中小商业银行科技人员一般比较少，在数据仓库的建设时主要依靠数据仓库厂商，但应用需要依靠自己。随着数据仓库之上的应用越来越多，需要注重自身人员相应的技术、业务能力的培养，锻造一只银行自己的商业智能队伍，以适应银行发展的需要。

        数据仓库的建设是一个长期渐进的过程，在这个渐进的过程中需要有明确的业务需求、良好的项目管控和稳固的技术保障。我们认为中小商业银行为了确保数据仓库建设的成功有几点是至关重要的：高层领导的参与；清晰的阶段目标及项目实施范围；设计的稳定性和前瞻性；数据模型的先进性；项目实施人员的经验。

（文章来源：新金融世界）
 

首页 上一页 1 2

扫码即可手机
阅读转发此文